GenEvolve: Self-Evolving Image Generation Agents via Tool-Orchestrated Visual Experience Distillation
GenEvolve: 基于工具编排与视觉经验蒸馏的自进化图像生成智能体
🧭 自进化图像生成智能体 · 视觉经验蒸馏
The Hong Kong University of Science and Technology (Guangzhou) · Meitian · The Hong Kong University of Science and Technology · National University of Singapore
通过对比多条生成轨迹提取结构化视觉经验,以 token 级蒸馏实现图像生成智能体的自进化
📌 工作参考价值(4 点)
- 自进化训练范式可迁移到推荐/对话 Agent:通过生成多条候选轨迹、对比优劣并蒸馏 token 级监督,可让推荐系统智能体(如对话式购物助手)从交互中自行学会更好的搜索策略、知识激活与工具调用。
- 工具编排的密集监督替代稀疏奖励:采用 privileged teacher 提供 token 级差异信号,比标量奖励更精细,可提升 Agent 在复杂工具选择(如商品搜索 API、图像编辑工具)中的决策质量,适合电商场景中的多步操作。
- 视觉经验的结构化表示:将最佳/最差轨迹差异抽象为可学习的“经验”,可借鉴到多模态推荐中大模型对图片、商品的细粒度对比与知识激活。
- 自建数据与基准的思路:为业务中缺少训练数据的问题提供了参考:通过构造任务和自动采样轨迹来生成训练信号,可应用于自建垂直领域的 Agent 训练数据集。